(模型视频来源于网络) 本周,字节跳动联合新加坡国立大学发布了一款开源项目 MagicAnimate,在GitHub开源网站上发布不到4天,就收揽了 6.4k Star! MagicAnimate 具有高度的可控性和灵活性,可以通过微调参数来实现不同的动画效果。 它适用于人体动画创作、虚拟角色设计等领域。 总结 MagicAnimate 的主要应用领域: 1、未知领域动画:MagicAnimate可以为油画和电影角色等未知领域图像制作跑步或做瑜伽的动画。 另一个重要特点是MagicAnimate的可控性和灵活性。用户可以根据需要微调参数,实现不同的动画效果,使其适应不同的创作需求和风格。 与阿里的Animate Anyone相比,画面质量,人物一致性上、手部和面部动作 MagicAnimate 差一些,但MagicAnimate支持多人。
他们提出了一个基于扩散的框架 MagicAnimate,旨在增强时间一致性、忠实地保留参考图像并提升动画保真度。 并且,MagicAnimate 项目是开源的,目前推理代码和 gradio 在线 demo 已经发布。 在实践中,由于内存限制,MagicAnimate 以分段的方式处理整个视频。得益于时间建模和强大的外观编码,MagicAnimate 可以在很大程度上保持片段之间的时间和外观一致性。 实验及结果 实验部分,研究者在两个数据集评估了 MagicAnimate 的性能,分别是 TikTok 和 TED-talks。 MagicAnimate 的应用前景也很广。
他们提出了一个基于扩散的框架 MagicAnimate,旨在增强时间一致性、忠实地保留参考图像并提升动画保真度。 并且,MagicAnimate 项目是开源的,目前推理代码和 gradio 在线 demo 已经发布。 在实践中,由于内存限制,MagicAnimate 以分段的方式处理整个视频。得益于时间建模和强大的外观编码,MagicAnimate 可以在很大程度上保持片段之间的时间和外观一致性。 实验及结果 实验部分,研究者在两个数据集评估了 MagicAnimate 的性能,分别是 TikTok 和 TED-talks。 MagicAnimate 的应用前景也很广。
应用场景多种高性能应用部署场景,轻松拿捏开启HAI搭建MagicAnimate之旅接下来我们就一步一步的开始MagicAnimate 的搭建流程吧~~1. 模型下载MagicAnimate 需要 StableDiffusion V1.5 模型、MSE-finetuned VAE 以及 MagicAnimate 模型这里有两个选择哦 ! bvid=BV1GH4y1C7eE&autoplay=0 使用HAI 结合MagicAnimate 展示跑步的蒙娜丽莎11. bvid=BV1Jc411S7fK&autoplay=0 使用HAI 结合MagicAnimate呈现跳舞的蒙娜丽莎总结1. 鸣谢~相信很多人在使用HAI 搭建了这个 MagicAnimate 之后 , 都会有一个想法, HAI 应运而生, 他真的解决了我们在AI 运用上的硬件问题环境问题等等,各种各样的问题, 本人在搭建 MagicAnimate
github.com/PRIS-CV/DemoFusion 在线体验: https://huggingface.co/spaces/radames/Enhance-This-DemoFusion-SDXL 2、MagicAnimate 结果没隔几天,字节直接“背刺”,开源了 MagicAnimate。 MagicAnimate 跟 Animate Anyone 的做法还不太一样,但效果类似: 项目已经开源,想让谁跳“科目三”,你说了算。
应用场景 多种高性能应用部署场景,轻松拿捏 开启HAI搭建MagicAnimate之旅 接下来我们就一步一步的开始MagicAnimate 的搭建流程吧~~ 1. 模型下载 MagicAnimate 需要 StableDiffusion V1.5 模型、MSE-finetuned VAE 以及 MagicAnimate 模型 这里有两个选择哦 ! 使用HAI 结合MagicAnimate 展示跑步的蒙娜丽莎 11. 视频效果如下: 使用HAI 结合MagicAnimate呈现跳舞的蒙娜丽莎 总结 1. 这样再上传大文件的时候 就可以直接通过内网上传,上传速度也会更快一些呦 目前只有以上两条小小的想法哦, 如果有想体验MagicAnimate 的同学,还在等什么?
MagicAnimate 几乎只需导入一张照片 + 一段动作视频或 DensePose 控制,就能自动生成高质量动画,极大解放人工编辑效率。 magic-animateconda env create -f environment.yamlconda activate manimate# 下载 StableDiffusion V1.5 & VAE & MagicAnimate 同类项目对比及优势项目名称星级 & 活跃度技术核心优势对比MagicAnimate(本项目)⭐11.1k / 1.1k fork视频扩散+姿态控制网时序一致性强、外观保真及ControlNet控制精细MagicAnimate-colab magic-animate-for-windows⭐318Windows GUI版本易安装,适合小白用户,缺少时序优化模块quocanh34 修改版⭐无多ControlNet整合控制精度更高但社区用户少显而易见:官方 MagicAnimate 总结MagicAnimate 是目前最强、最完整的人像静态图动画项目:技术成熟(CVPR 背书 + 高星项目);功能全面(支持多种输入 + 模型替换);社区活跃(优化迭代 + 多平台使用)。
数百年来保持神秘微笑的蒙娜丽莎,都能马上跑起来: 这项有趣应用背后的技术,是新加坡国立大学和字节跳动的研究者联合推出的「MagicAnimate」。 MagicAnimate 是一个基于扩散的人类图像动画框架,在根据特定的运动序列生成视频的任务中,能够很好地保证整个动画的时间一致性并提升动画保真度。而且,MagicAnimate 项目是开源的。 论文标题:MagicAnimate:Temporally Consistent Human Image Animation using Diffusion Model 论文链接:https://arxiv.org MagicAnimate 将整个视频分解为重叠的片段,并简单地对重叠帧的预测进行平均。最后,研究者还引入图像 - 视频联合训练策略,以进一步增强参考图像保留能力和单帧保真度。 虽然仅接受了真实人类数据的训练,MagicAnimate 却展现出了泛化到各种应用场景的能力,包括对未见过的领域数据进行动画处理、与文本 - 图像扩散模型的集成以及多人动画等。
magic-animatehttps://github.com/magic-research/magic-animate Stars: 9.9k License: BSD-3-Clause 这个项目是 MagicAnimate 该项目提供了预训练基础模型和 MagicAnimate 检查点,并支持单 GPU 和多 GPU 推断。此外,还提供在线 Gradio 演示以及本地 Gradio 演示功能。
这些方法兼具稳定训练和强大迁移能力的优势,相较于基于 GAN 的方法表现更好,典型方法如 Disco、MagicAnimate、Animate Anyone、Champ 等。 从上述定性对比实验也可以看出,相比于 MagicAnimate、Animate Anyone, UniAnimate 方法可以生成更好的连续结果,没有出现明显的 artifacts,表明了 UniAnimate
magic-research/magic-animate[4] Stars: 6.0k License: BSD-3-Clause 这个项目是 MagicAnimate,它使用扩散模型实现了时间一致的人体图像动画
例如,给定一个大胖作为参考图像得到的如下图 7 所示的对比结果: 可以看到,Animate Anyone 与 MagicAnimate 的生成结果中,大胖的大肚子被抹平,甚至骨架也有一些缩水。
unianimate.github.io/ 背景介绍 随着人类跳舞视频生成技术的发展,特别是扩散模型的演化,越来越多的研究着眼于如何基于扩散模型生成符合给定参考身份和目标姿态动作序列的高质量逼真视频,并推出了一系列方法如Disco、 MagicAnimate
项目优势项目名称主要技术优势劣势MagicAnimate骨骼2D控制扩散使用简单动作不稳定、形状变化大AnimateDiff文本/视频驱动扩散文本可控无形状约束ChampSMPL+扩散三维形状统一 +
为解决这些问题,较新的方法如MagicAnimate [79]和AnimateAnyone [29]将时间注意力模块融入扩散网络以增强时间连贯性。 随后的工作包括 AnimateAnyone [29]、MagicAnimate [79] 和 MagicPose [9] 提出了一种类似框架,利用参照网络注入人体特征,并使用运动模块增强时间一致性。 MagicAnimate [79] 和 AnimateAnyone [29] 是基于扩散模型的人类图像动画方法,它们利用二维控制信号作为指导。 作者观察到,由于缺乏足够的指导信息,AnimateAnyone [29] 和 MagicAnimate [79] 均产生了低质量的结果,而 Champ [96] 无法生成准确的细节,尤其是在手部区域。
解决的问题 多主体生成的局限性:现有的角色动画方法(如 Animate Anyone, MagicAnimate 等)主要针对单人动画设计,难以处理任意数量的主体。 达到的效果 定量指标提升:在视频质量、身份保持(Identity Preservation)和时序一致性(Temporal Consistency)等指标上,显著优于 MagicAnimate, Animate
近期的方法,如MagicAnimate [59]和Animate Anyone [18],引入了专门的动模块和轻量级姿态引导器,以确保精确的姿态到动作的转换。